随着人们对体育赛事的关注度越来越高,观众们希望能够提升他们的观赏体验,获取更多的专业信息。百度AI云推出的观赏助手,就是为了满足这些需求。它可以识别和分析与赛事相关的信息,如实时位置、个人信息、精彩瞬间、技术术语等,并将它们以视觉化的方式呈现出来,减少用户的困惑。此外,生动的AI数字人可以提升用户的情感体验。
观赏助手的另一大特点是,它可以为色盲人士改善颜色识别。通过智能字幕,听力受损的观众也可以平等地享受比赛。此外,它还可以帮助用户快速生成视频片段。
观赏助手的实现技术主要包括基于知识的视频语义理解技术、视频色觉辅助技术和智能视频内容生成技术等。其中,基于知识的视频语义理解技术,可以通过语音识别、面部识别和身体识别等技术,解析和合并语音、视觉或文本等多模态内容,实现赛事信息的智能检索和分析。视频色觉辅助技术,可以确保为色觉受损的用户提供视频屏幕颜色的对比。智能视频内容生成技术,如视频剥离和智能编辑等,用于聚合视频场景,呈现精彩的赛事瞬间。
观赏助手支持手机、电脑、电视等多终端设备。当可识别的信息出现时,AI自动识别功能会引导用户通过动态效果和震动来识别球员或物体,然后界面会显示相关结果。此过程不会干扰用户观看视频。并且设置了跟踪追踪功能,可以选择要关注的球员,实时看到球员的位置。此外,色觉辅助和智能字幕可以帮助色觉受损和听力受损的用户获得更清晰的观看效果。用户还可以选择指定的球员或动作标签,通过智能剪辑快速编辑视频素材。
观赏助手的设计团队包括李佳、张玉倩、熊娟、吴倩乐、王婷婷、游有平等人。他们通过问卷调查和用户访谈,深入了解了观众的需求和痛点。他们发现,普通观众对赛事的理解不足,专业观众在比赛中无法清楚地找到或看到他们喜欢的球员,他们都渴望在比赛后能够分享。同时,他们发现色盲和听力受损的用户在观看赛事时无法有效地获取信息。此外,他们还研究了现有的视频技术和AI能力可以解决的问题。
观赏助手的设计挑战在于如何以视觉化的方式呈现赛事给用户。为此,他们探索了信息识别结果的不同感知和触发方式,并在不同的场景中使用了如数字人和动态效果等情感表达。此外,他们还结合了视频内容分析、色觉校正和智能内容生成等AI技术,使比赛过程更加直观。
观赏助手的设计已经获得了专利(专利号:CN202230477563.5),并在2023年获得了A'界面、交互和用户体验设计奖的银奖。这是对其顶级的创意、专业的杰出设计,以及展示出的卓越专业技术和创新的肯定。
项目设计师: Baidu AI Cloud
图片致谢: Copyrights belong to Baidu Online Network Technology (Beijing) Co., Ltd, 2022
项目团队成员: Jia Li
Yuqian Zhang
Juan Xiong
Qiianle Wu
Tingting Wang
Yu Youping
项目名称: Spectator Assistant
项目客户: Baidu AI Cloud